Large Language Models (LLMs) erfordern nicht nur im Training, sondern auch im täglichen Betrieb erhebliche Hardwareressourcen. Dazu zählt neben der puren Rechenleistung für die Matrixoperationen im neuronalen Netz auch der Grafikspeicher (VRAM), da fast ausschließlich Hochleistungsgrafikkarten schnell genug für einen flüssigen Betrieb sind. Da in jedem Durchgang im LLM nur ein neues Token (ein kurzes Wort oder ein Teil eines längeren Wortes) generiert wird, ändert sich an den durchzuführenden Berechnungen von einem zum nächsten Durchgang nur das eine Token. Daher lässt sich ein Großteil der Rechenergebnisse wiederverwenden, was Speicher spart. Das ist die Aufgabe des KV-Cache.